财报会议

NVIDIA FY24 Q2 财报 — 历史性爆发

历史背景:这是 NVIDIA 历史上最具标志性的一场财报电话会议。当季营收 135.1 亿美元——环比 +88%、同比 +101%,数据中心业务单季度同比接近翻三倍。这是美股历史上第一次有一家几千亿市值的科技公司在一个季度里做出这样的加速。黄仁勋 在这场会议上把故事从"iPhone 时刻"升级到"新的工业革命已经开始",并明确给出了 NVIDIA 护城河的四大支柱:架构、装机量、分发、规模与速度。

Q&A 精选

大模型与小模型的关系

分析师问:你们在训练市场的份额已经锁定了,那在大模型推理这块——特别是 Grace Hopper 这类产品——你怎么看大模型推理和小模型推理的分野?

黄仁勋:我们先退一步。这些大语言模型非常非常惊人。它的核心能力是——它学会了人类语言的结构,并且在它学习过的语料里压缩编码了巨量的人类知识。

流程是这样的:你先做一个尽量大的大模型,然后再从它派生出中、小、微各种尺寸的版本。这叫蒸馏(distillation)。小模型多半是从大模型里教出来的——就像学生是老师教出来的。惊人的是,这些小模型居然都能做很多同样的事情。

但大模型有一个小模型学不来的东西:zero-shot 泛化能力。大模型对于你没有专门训练过的问题也能凭空应对,这就是它"魔法"的地方。另一方面,你又希望把这种能力带进各种各样的设备。所以你把它蒸馏到小型号,装到手机、装到 PC。小模型的专项能力可以很强,但它的 zero-shot 不会像大模型那么好。这就是为什么我们的推理产品有 L4、L40、H100 NVL、HGX H100、NVLink 多节点 H100……这么多尺寸,就是为了让你可以训练各种规模的模型。

同时两场平台迁移

分析师问:我们看到你们 Q3 指引数据中心可能到 120~130 亿美元。超大规模客户的总支出并没有显著扩张——你怎么有信心他们能在这块切出更多预算给生成式 AI?

黄仁勋全世界的数据中心——云、企业、其他——总共有 1 万亿美元的装机量。这 1 万亿美元的数据中心正在迁移到 加速计算 和 生成式 AI。

我们同时看到两场平台迁移。第一场是 加速计算——因为它在成本、能效、性能三个维度上都是今天最好的计算方式。然后突然之间,在 加速计算 之上,又爆发了 生成式 AI——一个杀手级应用。于是现在每家公司都有两个理由去做一场平台迁移:从通用计算转向 加速计算

全球 1 万亿美元的数据中心,每年大约 2500 亿美元的资本开支。全世界的数据中心正在把这笔资本开支集中到两个最重要的计算趋势上:加速计算 和 生成式 AI。这不是一个短期的事情。这是一场产业级的长期迁移。

H100 到底是什么

分析师问:能不能给我们讲讲,数据中心增长里有多少是系统(DGX、HGX)vs 纯 GPU(H100)?

黄仁勋:Stacy 我补充一句。你说"H100",我知道你脑子里想的是什么——但 H100 是由三万五千个零件组成的,重达 70 磅,总共差不多一万亿个晶体管。它需要机器人来组装,因为 70 磅一个人根本搬不动。要测试它,你需要另一台超级计算机。这是一个技术奇迹,制造强度极高。我们说 "H100" 仿佛它是从晶圆厂出来的一颗芯片,但实际上 H100 是作为 HGX 整机出货的,这些是非常大的系统级组件。

软件生态的护城河

分析师问:你们的软件生态是怎么一步步建起来的?NVIDIA 平台的价值里,硬件差异化和软件差异化各占多少?

黄仁勋:让我用一些数字试着描述一下。我们有一个 runtime 叫 NVIDIA AI Enterprise,它是端到端机器学习的整套运行时——从数据处理、任何框架上任意模型的训练、推理、以及从单机一直到超大规模数据中心的部署。这个 runtime 包含大约 4500 个软件包、软件库,之间有 10000 个依赖关系。它持续地在所有装机的硬件上被更新和优化。这只是我们栈的一个部分而已。我们花了二十年才走到今天的位置。

我们公司的几个核心特质:

第一是架构。架构的灵活、通用和性能让我们能做前面讲的所有事情——从数据处理到训练到推理到前后处理。因为我们加速了这么多栈,所以我们能给客户最低的总拥有成本。

第二是装机量。为什么全世界的开发者都会来到我们的平台?因为开发者需要一个大装机量,才能让自己的产品触达足够多的终端用户,才能形成回报。这是一个正反馈。

第三是分发(reach)。我们在每一朵公有云上,我们在企业 IT 里,我们在边缘,我们和全世界的 OEM/ODM 合作。就因为 reach,所有系统厂商都想把 NVIDIA 集成到他们的机器里。

第四是规模与速度。我们能在这种复杂度下持续推进硬件、软件、网络、计算。以前看起来我们好像每两年出一代架构——现在我们基本上每六个月就推出新的产品。这让整个生态系统敢于把自己的生意建立在我们之上。

拐点已至

分析师问:有这么多需求没有被满足,你大概在什么时候能看到供需平衡?

黄仁勋:我们对今年以及明年都有良好的可见度,我们已经在和领先的 CSP 和数据中心建造方规划下一代基础设施。

最简单的理解方式是:世界正在从通用计算过渡到 加速计算,这就是需求的本质。企业想要提高吞吐、改善能效、降低成本,最好的方式就是把资本预算转向 加速计算 和 生成式 AI。因为这样做可以把数据中心里 CPU 的负载卸下来,让剩下的 CPU 资源反而更充裕。

现在的公司都认识到了一件事:这是一个 tipping point——我们正处在这场迁移的起点,数据中心开始把资本投资大幅转向加速计算和生成式 AI。这不是单一应用在驱动需求,这是一个新的计算平台的诞生,全世界的数据中心都在普遍响应。

闭幕陈述

一个新的计算时代已经开始。整个行业正在同时经历两场平台迁移:加速计算 和 生成式 AI。数据中心正在从通用计算转向加速计算。1 万亿美元的全球数据中心将全部迁移到 加速计算,以换取一个数量级的性能、能效和成本改善。

加速计算让 生成式 AI 成为可能,而 生成式 AI 又反过来推动软件发生平台迁移,催生过去不可能存在的新应用。这两者合在一起,正在推动整个计算产业的一次基础平台转移。

我们的需求是巨大的。我们正在大幅扩张产能。今年剩余时间和明年的供应都会实质性地增加。

没有任何一家公司用二十年的时间为这一刻做准备,建立起一个全世界产业都能立足于其上的全新计算平台。

让我们特别的有四件事:

一是架构。NVIDIA 加速从数据处理、训练、推理、语音、视觉、推荐系统到向量数据库的一切。

二是装机量。全世界有几亿张 CUDA 平台 兼容的 GPU。开发者需要装机量来触达用户,NVIDIA 是开发者首选。更多开发者 → 更多应用 → 对客户更有价值。

三是分发。我们在云、在企业、在工业边缘、在 PC、在工作站、在仪器、在机器人里。

四是规模与速度。我们 100% 押注 加速计算 和 生成式 AI。我们从每两年推一代产品,加速到每六个月推一代。

生成式 AI 起步于云,但最大的机会在全球最大的几个产业里,那里的生产力提升以万亿美元计。我们正在和 ServiceNow、Adobe、VMware、Snowflake、Dell、HPE、Lenovo 一起把生成式 AI 带进企业。我们正在用 NVIDIA Omniverse 把那些全球数十万亿美元的重工业数字化。

这是 NVIDIA、我们的客户、合作伙伴以及整个生态系统激动人心的时刻。


原文出处Motley Fool — NVDA Q2 FY24 Earnings Call Transcript
相关卡片加速计算 · 生成式 AI 工业革命 · 新摩尔定律 · AI 工厂 · Hopper · NVIDIA AI Foundations · 数据中心即计算机